iT邦幫忙

2026 iThome 鐵人賽

DAY 24
0
AI Security

新手上路不當砲灰!30 天一章一章啃完 CompTIA SecAI+ 備考筆記系列 第 24

歐盟 AI 法案上篇:這四大類 AI 被永久禁用,違規最重罰全球年營收 7%

  • 分享至 

  • xImage
  •  

大家好,今天我們正式進入 Domain 4:AI 治理、風險與合規(GRC)。這塊在考試中佔了 19% 的分數,看似是枯燥的法規條文,但其實跟我們的系統開發、產品能不能順利合規上線,有著密不可分的關係。

2024 年 8 月,全球第一部針對 AI 的全面性法律框架——歐盟 AI 法案(EU AI Act) 正式生效。
你可能會想:「我們是在台灣開發的本土公司,這法案關我們什麼事?」
老實說,關聯可大啦!這不僅是因為這部法案採用了「境外效力(Extra-territorial Effect)」,只要你的 AI 產品有機會被歐盟境內的人使用到就得遵守。

更關鍵的是,這在 GRC 領域有一個非常經典的名詞,叫做 「布魯塞爾效應(Brussels Effect)」
簡單來說,因為歐盟的法規通常是最嚴格、最具有代表性的(想想以前的 GDPR 個資法),全球的科技巨頭(微軟、Google、OpenAI 等)為了能在歐盟做生意,會直接將他們的底層 API 與雲端服務,依照歐盟法案的最嚴格標準重新設計。
結果就是:**不管我們在哪個領域開發、不管你的系統有沒有賣去歐洲,我們使用的工具與上下游供應鏈也早就默默被歐盟法規同化了,它已經變成了全球科技界默默遵守的實質底線(De facto Standard)。**這就像當年 GDPR 逼得全球所有網頁不管在哪個國家,都默默加上了 Cookie 同意 Banner 一樣。

歐盟法案的核心邏輯非常簡單:依據「風險等級」來管制 AI —— 風險越高,管得越嚴。

今天我們就來聊聊,有哪些 AI 是被歐盟「永久禁止」的,而高風險的 AI 又必須遵守哪些嚴格規定。


一、 歐盟 AI 法案的四個風險等級

法案把 AI 的風險由高到低,分成了這四個梯隊:

歐盟 AI 法案(EU AI Act)風險金字塔

⛔ 不可接受風險(Prohibited AI)  ──→ 永久禁止(碰了就重罰 7% 營收,取高者)
⚠️ 高風險(High-Risk AI)        ──→ 可以用,但有一大堆合規義務(常見觀念)
⚡ 有限風險(Limited Risk)      ──→ 只有告知義務(例如要標明「這是 AI 生成的」)
✅ 最小風險(Minimal Risk)      ──→ 幾乎不管(例如一般的 AI 篩選濾鏡、電玩 AI)

二、 絕對不能碰:不可接受風險(永久禁用)

這幾種 AI 應用在歐盟境內是永久禁止開發和使用的。如果踩到紅線,最高會被罰 3,500 萬歐元 或是 全球年營業額的 7% —— 請注意,法案規定是**「以高者為準(Whichever is higher)」**,這對企業來說是非常痛的致命罰款:

  1. 工作場所與學校中的「情緒識別(Emotion Recognition)」
    • 定義:利用面部表情、聲音語調等生物特徵,去推導或分析員工或學生的內部情緒(如:偵測員工開會時有沒有在偷懶、心情好不好、專注度如何)。
    • 例外情況:除非是出於純醫療或特定重工業的高空/危險作業生理安全監控,否則一律永久禁止。這在實務上是最容易踩坑的紅線!
  2. 潛意識操控(Subliminal Manipulation)
    利用人類意識察覺不到的技術(像是快速閃過的圖片、隱藏的超音波),來偷偷改變一個人的行為,並對他造成實質傷害。
  3. 利用特定群體的弱點(Exploitation of Vulnerabilities)
    針對兒童、老人、身心障礙者的認知偏差去設計 AI,誘導他們做出危險或有害的行為。
  4. 社會信用評分(Social Scoring)
    政府或公家機關用 AI 長期追蹤、評估人民的日常社會行為並給予評分,甚至限制他們的日常權利(這會直接被判定為侵犯基本人權)。
  5. 公共空間「即時」遠端生物識別
    在街上、公共場所架設監視器,用 AI 即時(Real-time) 進行人臉辨識。
    • 例外情況:除非是要尋找失蹤兒童、防範即將發生的恐怖攻擊,且必須經過司法授權才能啟用。

三、 合規義務最多:高風險 AI 系統(High-Risk AI)

這類 AI 可以用,但上線前必須通過極為嚴格的審查。如果違規,最重會被罰 1,500 萬歐元年營業額的 3%(同樣是以高者為準)

這類 AI 主要包含兩大領域,在實務判定上非常重要:

1. 醫療器材與安全防護元件(Products with Safety Components)

只要 AI 是作為需要通過第三方安全評估產品的「安全元件」或本身就是產品,就直接屬於高風險 AI。

  • 醫療與診斷軟體:例如輔助醫生判讀 X 光片的 AI 影像診斷系統、手術機器人控制系統。
  • 航空、汽車、玩具安全的關鍵控制 AI 系統。

2. 附錄三(Annex III)列出的八大獨立領域

  • 工作場所的「生物識別(Biometrics)」與員工管理
    這在實務開發上非常有意思,通常會區分為兩種技術機制:
    • 1-to-1 驗證(Verification)➔ 允許:員工刷識別卡後比對自己的人臉,確認「你是不是你宣稱的大明」(這不屬於高風險)。
    • 1-to-N 識別(Identification)➔ 高風險:在辦公室天花板裝監視器,員工走過去自動識別並記錄打卡(這屬於遠端生物識別,定義為高風險,必須符合嚴格的合規審查)。
  • 關鍵基礎設施:影響電網、自來水、大眾交通安全控制的 AI。
  • 教育與職業訓練:決定學生能不能入學、決定期末考試評分的 AI。
  • 就業與人員管理幫人資篩選履歷、評估員工績效升遷的 AI。
  • 基本私人與公共服務評估信用分數、決定能不能給予貸款、保險定價的 AI。
  • 執法、移民與邊境管理:犯罪風險預估、簽證評估、甚至是 AI 測謊。

四、 高風險 AI 必須做到的三大防禦與管理規定

如果公司開發的是高風險 AI,上線前必須做到這幾件事,這也是 GRC 審計的重點。在法案中,企業必須建立完整的 「風險管理系統(Risk Management System)」,並通過 「合規評估(Conformity Assessment)」

  • 人工監督(Human Oversight)
    系統在設計上,絕對不能由 AI 自己做最終決定。一定要有「人類分析師」能進行有效監督、隨時干預,並有一鍵推翻 AI 決定的權力,也就是我們在 SOAR 中學過的 Human-in-the-Loop
  • 資料治理與品質
    訓練這隻 AI 的資料集,必須符合極高品質。必須具備足夠的代表性、無惡意偏見,且必須做好資料出處追蹤(Data Provenance)防範投毒。
  • 準確性與網路安全
    系統必須具備足夠的抗性。在技術上要能抵禦我們 Domain 2 提到的「對抗性樣本攻擊」或「提示詞注入」,達到足夠的網路防禦強度,避免模型被誘騙或個資外洩。

🔑 模擬題解析

Q: 一家軟體公司開發了一款『AI 自動履歷篩選與招聘評估系統』,並計劃將該軟體販售給在歐盟運營的跨國企業。根據歐盟 AI 法案(EU AI Act),這款軟體最可能被歸類為哪個風險等級?

A. 不可接受風險(Prohibited AI)
B. 高風險(High-Risk AI)
C. 有限風險(Limited Risk)
D. 最小風險(Minimal Risk)

【正確答案】B

【解析】

  • 抓解題關鍵字自動履歷篩選與招聘評估系統
  • 分析:在歐盟 AI 法案的附錄三中,涉及到「就業、人員管理、履歷篩選、升遷績效評估」的 AI 系統,被明確界定為會影響人類生計與基本權利的高風險 AI 系統(High-Risk AI)
  • 這類系統並不被永久禁止(所以不選 A),但必須在系統設計中落實嚴格的「人工監督(Human Oversight)」與「合規評估」後才能上線,因此正確答案是 B

🎯 今日學習筆記重點

  • 布魯塞爾效應(Brussels Effect):歐盟法案因為嚴格且具代表性,會穿透全球供應鏈,變成各國開發者默默遵守的實質標準(De facto Standard)。
  • 工作場所生物識別的兩大防線
    • 情緒識別(Emotion Recognition):用 AI 測員工有沒有偷懶、心情好壞 ➔ 永久禁止(不可接受風險)
    • 1-to-N 走過去自動辨識打卡(Identification)高風險 AI,需要繁瑣的合規審查。
  • 醫療與診斷軟體:SaMD(軟體即醫療器材)因為需要通過第三方安全評估,無條件屬於高風險 AI
  • 罰款魔鬼細節:法案罰款是採取**「以高者為準(Whichever is higher)」**。不可接受風險最重罰 3,500 萬歐元或全球 7% 營收;高風險最重罰 1,500 萬歐元或全球 3% 營收。
  • 不可接受風險:工作場所與教育場域的情緒識別、潛意識操控、社會評分、公共場所即時人臉辨識等(永久禁止)。
  • 高風險 AI:影響基本權利(人資篩選、信用貸款、教育評分)、人命安全(關鍵基礎設施)與醫療器材。

明天我們要講歐盟 AI 法案的下篇:通用 AI(GPAI)模型、透明度義務,以及台灣企業要怎麼落地合規。
我們明天見啦!


上一篇
主動出擊抓隱形駭客:AI 威脅獵捕與 UEBA 行為評分機制
下一篇
歐盟 AI 法案下篇:告知義務、通用 AI 模型與企業合規的四大步驟
系列文
新手上路不當砲灰!30 天一章一章啃完 CompTIA SecAI+ 備考筆記29
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言